Recent cross-lingual cross-modal works attempt to extend Vision-Language Pre-training (VLP) models to non-English inputs and achieve impressive performance. However, these models focus only on understanding tasks utilizing encoder-only architecture. In this paper, we propose ERNIE-UniX2, a unified cross-lingual cross-modal pre-training framework for both generation and understanding tasks. ERNIE-UniX2 integrates multiple pre-training paradigms (e.g., contrastive learning and language modeling) based on encoder-decoder architecture and attempts to learn a better joint representation across languages and modalities. Furthermore, ERNIE-UniX2 can be seamlessly fine-tuned for varieties of generation and understanding downstream tasks. Pre-trained on both multilingual text-only and image-text datasets, ERNIE-UniX2 achieves SOTA results on various cross-lingual cross-modal generation and understanding tasks such as multimodal machine translation and multilingual visual question answering.
translated by 谷歌翻译
Previous generative adversarial network (GAN)-based neural vocoders are trained to reconstruct the exact ground truth waveform from the paired mel-spectrogram and do not consider the one-to-many relationship of speech synthesis. This conventional training causes overfitting for both the discriminators and the generator, leading to the periodicity artifacts in the generated audio signal. In this work, we present PhaseAug, the first differentiable augmentation for speech synthesis that rotates the phase of each frequency bin to simulate one-to-many mapping. With our proposed method, we outperform baselines without any architecture modification. Code and audio samples will be available at https://github.com/mindslab-ai/phaseaug.
translated by 谷歌翻译
如何设计用于人类运动识别的最佳可穿戴设备对于可靠，准确的人机合作至关重要。先前的作品主要是通过启发性制造可穿戴设备。取而代之的是，本文提出了一个学术问题：我们可以设计一种优化算法来优化可穿戴设备的制造，例如自动弄清最佳传感器布置吗？具体而言，这项工作着重于优化用于FMG臂章的示型传感器（FMG）传感器的放置，以应用手臂运动识别。首先，基于图理论，考虑传感器的信号和连接性，对臂章进行了建模。然后，引入了基于图形的臂章建模网络（GAM-NET），以供手臂运动识别。之后，制定了FMG臂章的传感器放置优化，并提出了具有贪婪的本地搜索的优化算法。为了研究我们的优化算法的有效性，收集了使用带有16个传感器的FMG臂章的机械维护任务的数据集。我们的实验表明，仅使用使用我们的算法优化的4个传感器可以帮助保持与使用所有传感器的可比识别精度。最后，从生理视图验证了优化的传感器放置结果。这项工作希望阐明考虑下游任务（例如人类生物信号收集和运动识别）的可穿戴设备的自动制造。我们的代码和数据集可从https://github.com/jerryx1110/iros22-fmg-sensor-optimization获得
translated by 谷歌翻译
旨在找到合成靶分子的反应途径的循环合成计划在化学和药物发现中起着重要作用。此任务通常被建模为搜索问题。最近，数据驱动的方法吸引了许多研究兴趣，并显示了反递归计划的有希望的结果。我们观察到在搜索过程中多次访问了相同的中间分子，并且通常在先前基于树的方法（例如，或树搜索，蒙特卡洛树搜索）中独立处理。这样的裁员使搜索过程效率低下。我们提出了基于图的搜索策略，以消除任何中间分子的冗余探索。由于图形上的搜索比在树上更复杂，因此我们进一步采用图形神经网络来指导图形搜索。同时，我们的方法可以在图中搜索一批目标，并在基于树的搜索方法中删除目标间重复。两个数据集的实验结果证明了我们方法的有效性。尤其是在广泛使用的USPTO基准测试中，我们将搜索成功率提高到99.47％，以2.6分提高了先前的最新性能。
translated by 谷歌翻译
（源）代码摘要旨在以自然语言的形式自动为给定代码段生成摘要/注释。此类摘要在帮助开发人员理解和维护源代码方面起着关键作用。现有的代码摘要技术可以分类为提取方法和抽象方法。提取方法使用检索技术从代码段中提取重要语句和关键字的子集，并生成一个摘要，该摘要保留了重要语句和关键字中的事实详细信息。但是，这样的子集可能会错过标识符或实体命名，因此，产生的摘要的自然性通常很差。抽象方法可以生成类似人写的摘要，从而利用神经机器翻译域的编码器模型。然而，生成的摘要通常会错过重要的事实细节。为了通过保留的事实细节生成类似人写的摘要，我们提出了一个新颖的提取和吸收框架。框架中的提取模块执行了提取代码摘要的任务，该任务列入了代码段，并预测包含关键事实细节的重要陈述。框架中的抽象模块执行了抽象代码摘要的任务，该任务是在整个代码段和并行的重要陈述中进行的，并生成了简洁而人工写的类似的自然语言摘要。我们通过在涉及六种编程语言的三个数据集上进行广泛的实验来评估称为EACS的有效性。实验结果表明，在所有三种广泛使用的指标（包括BLEU，流星和Rough-l）方面，EACS明显优于最先进的技术。
translated by 谷歌翻译
2021-11-30
生成的对抗网络（GANS）已被证明在图像生成任务中非常成功，但GaN培训具有不稳定问题。许多作品通过手动修改GaN架构提高了GaN训练的稳定性，这需要人类专业知识和广泛的试验和错误。因此，目的是自动化模型设计的神经结构搜索（NAS）已经应用于在无条件图像生成的任务上搜索GAN。早期的NAS-GaN仅用于搜索生成器来减少困难。最近的一些作品试图搜索发电机（G）和鉴别器（D）来提高GaN性能，但它们仍然遭受搜索过程中GaN培训的不稳定性。为了缓解不稳定问题，我们提出了一种高效的两阶段进化算法（EA）基于NAS框架来发现GANS，Dubbed \ TextBF {eagan}。具体而言，我们将G和D的搜索分成两个阶段，提出了重量重置策略以提高GaN训练的稳定性。此外，我们执行进展操作以基于多个目标生成帕累托 - 前部架构，导致G和D的优越组合。通过利用重量分享策略和低保真评估，EAGAN可以显着缩短搜索时间。 EAGAN在CIFAR-10上实现了高竞争力的结果（= 8.81 $ \ PM $ 0.10，FID = 9.91），并超越了STL-10数据集上的先前NAS搜索的GAN（= 10.44 $ \ PM $ 0.087，FID = 22.18）。
translated by 谷歌翻译
在本文中，我们提出了一种新的动作计划方法，将长线性弹性对象自动包装到具有双层机器人系统的常用盒中。为此，我们开发了一个混合几何模型，以处理结合基于在线视觉的方法和离线参考模板的大规模遮挡。然后，引入一个参考点发生器以自动计划预先设计的动作原始基底的参考姿势。最后，一个行动计划者集成了这些组件，以实现高级行为的执行以及包装操纵任务的完成。为了验证提出的方法，我们进行了一项详细的实验研究，其中有多种类型和长度的物体和包装盒。
translated by 谷歌翻译
由于点云数据的稀缺性质，在大规模环境中使用激光雷达识别使用激光雷达的地方是具有挑战性的。在本文中，我们提出了BVMATCH，基于LIDAR的帧到帧位置识别框架，其能够估计2D相对姿势。基于地面区域可以近似作为平面的假设，我们将地面区域统一地分散到网格和项目3D LIDAR扫描到鸟瞰图（BV）图像。我们进一步使用了一组Log-Gabor过滤器来构建一个最大索引图（MIM），用于编码图像中结构的方向信息。我们从理论上分析MIM的方向特征，并引入了一种名为鸟瞰图特征变换（BVFT）的新颖描述符。所提出的BVFT对BV图像的旋转和强度变化不敏感。利用BVFT描述符，统一LIDAR将识别和将估算任务统一到BVMATCT框架中。在三个大规模数据集上进行的实验表明，BVMATCH在召回的位置识别和姿势估计精度的召回速率方面优于最先进的方法。
translated by 谷歌翻译
目的：我们研究使用机器学习（ML）模型的可解释的累入预测，并在预测能力，稀疏性和公平性方面分析性能。与以前的作品不同，本研究列举了输出概率而不是二进制预测的可解释模型，并使用定量公平定义来评估模型。本研究还研究了模型是否可以横跨地理位置概括。方法：我们在佛罗里达州和肯塔基州的两个不同的刑事核查数据集上生成了黑盒和可解释的ML模型。我们将这些模型的预测性能和公平与目前用于司法系统中使用的两种方法进行了比较，以预测审前常规率：Arnold PSA和Compas。我们评估了所有模型的预测性能，可以在两次跨越两次预测六种不同类型犯罪的模型。结果：几种可解释的ML模型可以预测常规和黑盒ML模型，比Compas或Arnold PSA更准确。这些模型在实践中可能有用。类似于Arnold PSA，这些可解释模型中的一些可以作为一个简单的表格写入。其他可以使用一组可视化显示。我们的地理分析表明ML模型应分开培训，以便单独的位置并随时间更新。我们还为可解释模型提供了公平分析。结论：可解释的机器学习模型可以在预测准确性和公平性方面表现，也可以表现，也可以表现，也可以执行不可解释的方法和目前使用的风险评估尺度。机器学习模型对于单独培训，可以更准确地进行不同的位置，并保持最新。
translated by 谷歌翻译
正交频分复用（OFDM）已广泛应用于当前通信系统。人工智能（AI）addm接收器目前被带到最前沿替换和改进传统的OFDM接收器。在这项研究中，我们首先比较两个AI辅助OFDM接收器，即数据驱动的完全连接的深神经网络和模型驱动的COMNet，通过广泛的仿真和实时视频传输，使用5G快速原型制作系统进行跨越式-Air（OTA）测试。我们在离线训练和真实环境之间的频道模型之间的差异差异导致的模拟和OTA测试之间找到了性能差距。我们开发一种新颖的在线培训系统，称为SwitchNet接收器，以解决此问题。该接收器具有灵活且可扩展的架构，可以通过在线训练几个参数来适应真实频道。从OTA测试中，AI辅助OFDM接收器，尤其是SwitchNet接收器，对真实环境具有鲁棒，并且对未来的通信系统有前途。我们讨论了本文初步研究的潜在挑战和未来的研究。
translated by 谷歌翻译